In [1]:
s1 = "Spicy Jalape\u00f1o"
s1
Out[1]:
In [2]:
s2 = "Spicy Jalapen\u0303o"
s2
Out[2]:
In [3]:
s1 == s2
Out[3]:
In [4]:
len(s1)
Out[4]:
In [5]:
len(s2)
Out[5]:
这里的文本 ”Spicy Jalapeño”
使用了两种形式来表示。 第一种使用整体字符 ”ñ”(U+00F1)
,第二种使用拉丁字母 ”n”
后面跟一个 ”~”
的组合字符 (U+0303)
。
在需要比较字符串的程序中使用字符的多种表示会产生问题。 为了修正这个问题,你可以使用 unicodedata
模块先将文本标准化:
In [6]:
import unicodedata
t1 = unicodedata.normalize("NFC", s1)
t2 = unicodedata.normalize("NFC", s2)
t1 == t2
Out[6]:
In [7]:
print(ascii(t1))
In [8]:
t3 = unicodedata.normalize("NFD", s1)
t4 = unicodedata.normalize("NFD", s2)
t3 == t4
Out[8]:
In [9]:
print(ascii(t3))
normalize()
第一个参数指定字符串标准化的方式。 NFC
表示字符应该是整体组成(比如可能的话就使用单一编码),而 NFD
表示字符应该分解为多个组合字符表示。
Python
同样支持扩展的标准化形式 NFKC
和 NFKD
,它们在处理某些字符的时候增加了额外的兼容特性。比如:
In [10]:
# A single character
s = '\ufb01'
s
Out[10]:
In [11]:
unicodedata.normalize("NFD", s)
Out[11]:
In [12]:
# Notice how the combined letters are broken apart here
unicodedata.normalize("NFKD", s)
Out[12]:
In [13]:
unicodedata.normalize("NFKD", s)
Out[13]:
讨论
标准化对于任何需要以一致的方式处理 Unicode
文本的程序都是非常重要的。 当处理来自用户输入的字符串而你很难去控制编码的时候尤其如此。
在清理和过滤文本的时候字符的标准化也是很重要的。 比如,假设你想清除掉一些文本上面的变音符的时候(可能是为了搜索和匹配):
In [14]:
t1 = unicodedata.normalize("NFD", s1)
"".join(c for c in t1 if not unicodedata.combining(c))
Out[14]:
最后一个例子展示了 unicodedata
模块的另一个重要方面,也就是测试字符类的工具函数。 combining()
函数可以测试一个字符是否为和音字符。 在这个模块中还有其他函数用于查找字符类别,测试是否为数字字符等等。
Unicode
显然是一个很大的主题。如果想更深入的了解关于标准化方面的信息, 请看考 Unicode
官网中关于这部分的说明 Ned Batchelder
在他的网站上对 Python
的 Unicode
处理问题也有一个很好的介绍。